Sau vụ ám sát hụt Hitler ngày 20 tháng 7, 1944, năm người chủ mưu bị xử tử ngay trong ngày, còn Mật vụ Đức truy ra sự can dự của Thống chế Günther von Kluge, Tổng Tư lệnh Mặt trận miền Tây, tức cấp trên trực tiếp của Rommel. Sau khi bị thay thế bởi Thống chế Otto Moritz Walter Model, Thống chế Kluge tự tử. Thượng tướng von Stülpnagel (Thống đốc quân sự tại Pháp), sau khi tự tử không thành, lúc nửa mê nửa tỉnh đã thốt ra tên của Rommel[80]. Sau đấy, khi bị Mật vụ tra tấn dã man, Đại tá Caesar von Hofacker (thuộc tổng hành dinh của Ban Quân quản Pháp tại Paris) và nhiều nguười khác khai ra vai trò của Rommel trong âm mưu. Hofacker khai Rommel đã trấn an ông: "Hãy nói với những người ở Berlin rằng họ có thể trông cậy nơi tôi." Đấy là câu nói ám ảnh đầu óc của Hitler khiến cho Lãnh tụ quyết định vị thống chế được ông yêu thích phải chết, dù ông biết đấy là người được ngưỡng mộ nhất trên nước Đức - Thực ra, ban đầu, dù hết sức tức giận và "tổn thương" (từ của Der Spiegel), nhưng Hitler định đợi đến lúc Rommel hết cơn hôn mê thì sẽ cho ông về hưu trong im lặng, nhưng không ngờ ông tỉnh dậy quá nhanh còn bằng chứng thì càng lúc càng nhiều.[70] [81] Hơn nữa, lúc này, các kẻ thù của Rommel, vốn đã chờ cơ hội này từ lâu, đã liên kết với nhau: Himmler, Bormann, Keitel, Jodl... đã vây quanh Hitler và xúi giục, thúc ép ông ta ra tay với kẻ phản bội.[82][83][84][85].

Trong khi xương sọ, trán và xương má còn đang mang những vết nứt nặng, mắt bên trái còn bị thương nặng và cả đầu còn mang mảnh bom, Rommel được dời ra khỏi bệnh viện dã chiến để tránh bị quân Đồng minh bắt, rồi được đưa về nhà riêng ở Herrlingen gần Ulm. Ông nhận được dấu hiệu cảnh báo đầu tiên cho số phận của mình khi biết người cựu tham mưu trưởng của ông, Tướng Hans Speidel, bị bắt ngày 7/9, một ngày sau khi đến thăm ông ở Ulm.

Khi họ nói chuyện với nhau về Hitler, Rommel đã than thở với Tướng Speidel:

Cái tên lừa dối bệnh hoạn ấy đã hoàn toàn điên khùng. Hắn đang trút cơn bạo hành lên những người âm mưu ngày 20/7, và đấy chưa phải là hết!

Bây giờ, Rommel nhận thấy nhân viên SS đang rình rập quanh nhà ông. Khi ông đi tản bộ trong khu rừng gần nhà cùng với cậu con trai 15 tuổi, được đơn vị phòng không nơi cậu phục vụ cho phép về săn sóc cha, cả hai đều mang súng lục. Cùng lúc, tại tổng hành dinh ở Rastenburg Hitler nhận được báo cáo về lời khai của Hofacker đề cập đến Rommel. Theo lời Tướng Wilhelm Keitel (Tham mưu trưởng Bộ Tổng tham mưu Quân lực) khai trước Tòa án Nürnberg, Lãnh tụ nhận ra

rằng đấy sẽ là một vụ xì-căng-đan kinh khủng nếu vị Thống chế có tiếng tăm này, người được yêu mến nhất, lại bị bắt và bị lôi ra trước Tòa án Nhân dân.

Thế là, vào buổi trưa ngày 14/10/1944, hai vị tướng là Burgdorf và Maisel từ tổng hành dinh của Hitler đi đến nhà của Rommel, bấy giờ bị binh sĩ SS bao vây cùng với 5 xe bọc thép. Họ đã báo trước cho Rommel hay rằng Hitler phái họ đến để thảo luận "công tác sắp tới" của Thống chế.

Sau này, Keitel khai trước Tòa án Nurnberg rằng ông ta đã viết một bức thư do Hitler đọc (gửi kèm lời khai của những người khác về sự tham gia của Rommel): Nếu Rommel vô tội, Hitler yêu cầu ông hãy đến gặp trực tiếp Hitler và giải thích [86][87], nếu ông không chọn như vậy thì tức là thú nhận đã phản bội và trong trường hợp đó, ông hãy tự cân nhắc các hậu quả. Hitler cử Burgdorf và Maisel đưa thư và mang thuốc độc đến.[88])

Sau khi Burgdorf và Maisel đến, mọi người thấy không phải để thảo luận công tác sắp tới của Rommel. Hai người yêu cầu được nói chuyện riêng với Thống chế, và ba người đi vào phòng đọc sách. Rommel đã không tận dụng cảm tình của Hitler để tìm đường sống (chọn lựa đến Berlin và giải thích). Ông thú nhận nhẹ nhàng, đến mức Maisel phải ngạc nhiên: "Ừ, tôi sẽ đối mặt với các hậu quả. Có lẽ tôi đã quên." Rồi ông đi lên đi xuống, trong khi hai người cứ chờ, cho đến khi ông dừng, và nói như xin lỗi, "Tôi từng yêu Lãnh tụ, đến bây giờ cũng vẫn yêu." "Sự đạo đức giả" này khiến Maisel, người một lòng trung thành với Hitler, cảm thấy "thật kinh tởm": làm sao một người đã nhận là mình muốn giết Hitler còn nói được câu đó? Nhưng Burgdorf và Maisel vẫn cư xử với vẻ tôn kính.[89][90][91][92]

Sau khi chia tay với vợ con, mặc chiếc áo jacket cũ bằng da của Binh đoàn châu Phi và cầm cây gậy thống chế, Rommel bước vào chiếc xe cùng với hai người tướng. Xe chạy được khoảng 3 kilômét theo con đường ven một khu rừng, rồi Tướng Meisel và tài xế SS bước ra, để Rommel và Tướng Burgdorf ngồi lại phía sau. Một phút sau, hai người quay lại chiếc xe; Rommel đã chết. Mười lăm phút sau khi vĩnh biệt chồng, bà vợ của Rommel nhận được một cuộc gọi từ bệnh viện. Bác sĩ cho biết hai người tướng đã mang thi hài của Rommel đến, qua đời vì nghẽn mạnh máu não, hiển nhiên là do việc vỡ xương sọ lúc trước. Thật ra, Burgdorf đã cấm khám nghiệm tử thi. Ông bảo: "Không được đụng đến xác chết. Mọi việc đã được thu xếp ở Berlin." Tất cả những người nhìn thấy Rommel khi chết đều kinh ngạc vì cái nhếch mép nửa như cười nửa khinh bỉ trên gương mặt người chết, mà Lucie nghĩ rằng đó là dành cho Hitler. Họ chưa từng thấy ông có biểu cảm đó bao giờ.[93][94]

Thống chế Model ra một nhật lệnh cho biết Rommel đã qua đời vì "những vết thương gây ra ngày 17/7" và tỏ ý thương tiếc sự mất mát "của một trong những vị tư lệnh vĩ đại nhất của đất nước."

Phần lớn các quan chức Quốc xã cao cấp, bao gồm cả Hitler, Himmler..., trừ Keitel và Jodl, gửi điện chia buồn.

Hitler ra lệnh tổ chức lễ quốc táng trong đó vị sĩ quan cao niên của Quân đội Đức, Thống chế Karl Rudolf Gerd von Rundstedt (cựu Tổng Tư lệnh Mặt trận miền Tây, cũng là cấp trên trực tiếp của Rommel, trước Kluge), đọc điếu văn khi đứng bên thi hài của Rommel phủ cờ chữ thập ngược: "Con tim của ông ấy thuộc về Lãnh tụ."

Công bằng mà nói, có lẽ Rundstedt không biết những tình tiết trong cái chết của Rommel, và hẳn chỉ biết được qua lời khai của Keitel tại Tòa án Nürnberg. Rundstedt khai: "Tôi không nghe được những lời đồn đại ấy, nếu không tôi đã từ chối đại diện cho Lãnh tụ ở lễ tang; đấy sẽ là điều ô nhục không lời nào diễn tả được." Tuy nhiên, tang quyến Rommel nhận thấy Rundstedt từ chối đến dự lễ hỏa thiêu sau lễ tang và đến chia buồn với quả phụ tại nhà của Rommel, trong khi phần lớn các tướng lĩnh khác đều đến.

Sau này, một bia tưởng niệm được dựng nơi chiếc xe dừng cho Rommel uống thuốc độc với dòng chữ:

Tại đây, Thống chế Erwin Rommel bị ép buộc phải tự tử vào ngày 14 tháng 10 năm 1944. Ông nhận một cốc thuốc độc và tự hy sinh, hầu cứu gia đình ông thoát khỏi tay sai của Hitler.[95]

Gần đây, khi ở Đức lại dấy lên cuộc tranh luận về Rommel, tờ Der Spiegel có ra bài tổng hợp mang tên "Quỷ thuật", với lời bình luận về cuộc đời và cái chết của ông, đại ý: Câu chuyện về con người đầy mâu thuẫn này bắt đầu như trong các truyền thuyết kinh điển. Một người đàn ông đầy tham vọng bán linh hồn cho Quỷ... Chàng đã hoàn thiện nghệ thuật bắt mình không thấy những gì không nên thấy. Nước Đức có những nhà quân sự xuất sắc khác, nhưng không ai có ma lực nhân cách như anh chàng Swabia trán tròn. Chiến dịch châu Phi phải nói là một chiến dịch vớ vẩn về đại cục, nhưng kệ, hồi xưa Napoleon cũng thế, và hơn nữa, châu Phi là một nơi lãng mạn, với thiên nhiên hoang dã và những người Bedouin huyền bí. Với sự giúp đỡ của bộ máy tuyên truyền, huyền thoại về người hùng dũng mãnh, một nhà chiến lược thiên tài đã khơi gợi trí tưởng tượng của bao người. Hết chiến tranh, Rommel tiếp tục thực hiện bước nhảy chưa từng có tiền lệ trong lịch sử, ngôi sao của ông chói sáng hơn bao giờ: "ái tướng của Hitler" trở thành người hùng của nước Cộng hòa non trẻ, trong khi tất cả những hình tượng người cha khác bị lịch sử vạch mặt. Nếu kết tội theo kiểu liên đới thì ông có tội (vì đã làm bạn với Quỷ), nhưng không có tội đến mức không ai muốn đặt niềm tin... (Quay trở lại câu chuyện) Và rồi Rommel, kẻ gan dạ không ai sánh kịp, nhận ra không còn có lý do để tiếp tục cuộc chiến nữa. Nhưng những viên tướng khác, 90 phần trăm là quý tộc, không mấy ai dám nói thẳng tình hình mặt trận với Hitler... Huyền thoại về người anh hùng của truyền thuyết dân gian đã trở nên mạnh mẽ đến nỗi, kẻ đã biến châu Âu thành một lò sát sinh cũng không sao kiểm soát được nữa. Người ta nói, trước lúc đi về thế giới bên kia đầy vinh quang, người hùng đã khóc. Lời Rommel nói, rằng "Tôi vẫn yêu Quốc trường," có lẽ là nói thật. Bị phản bội và tổn thương sâu sắc, Hitler không còn tâm hồn đâu đi đám tang, nhưng gửi điện chia buồn thì muốn tránh cũng không được, "Tên tuổi của Thống chế sẽ mãi gắn với các trận đánh anh hùng ở châu Phi." Và ở đây, nhà độc tài nói đúng.[70]

Sau chiến tranh, quyển nhật ký chiến tranh của ông được xuất bản mang tên The Rommel Papers. Rommel là thành viên duy nhất của Đế chế thứ ba (Third Reich) có được bảo tàng ghi lại cuộc đời và sự nghiệp của ông. Mộ của ông nằm ở Herrlingen, cách Ulm không xa.